Ông là hậu duệ của Sở Vĩ Mạo (tức Sở Lệ vương), ông nội là lệnh doãn Vĩ Lã Thần, cha là tư mã Vĩ Giả. Vĩ Ngao được sinh ra ở làng Bạch Thổ [1] bên hồ Hải Tử thuộc Dĩnh Đô [2] 2. Có lẽ người trước đời Tần quen đặt tự ở trước tên, nên người nước Sở gọi ông là Tôn Thúc Ngao 3.

Sau khi Vĩ Giả bị hại, ông lánh nạn ở ấp Kỳ Tư 4 [3]. Đông Chu Liệt Quốc kể rằng Tôn Thúc Ngao cõng mẹ lánh nạn ở Mộng Trạch, chỉ là thuyết đến từ các tiểu thuyết thông tục xuất hiện vào đời Thanh.